آموزش مانیتورینگ و ردیابی LLM: مشاهده‌پذیری هوش مصنوعی با Datadog [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و ارزش سازمانی Introduction & Enterprise Value

• آنچه خواهید آموخت What You'll Learn

• چرا مشاهده‌پذیری LLM برای سازمان‌ها اهمیت دارد Why LLM Observability Matters for Enterprises

• مشاهده‌پذیری LLM در Datadog – قابلیت‌های اصلی و دموی داشبورد Datadog LLM Observability – Core Capabilities and Dashboard Demo

راه‌اندازی مشاهده‌پذیری LLM Setting up LLM Observability

• راه‌اندازی و تست حساب Datadog – عملی Datadog Account Setup and Testing – Hands-on

• مروری بر انواع Spanها و یکپارچه‌سازی SDKها Span Types and SDK Integrations Overview

• اولین ردیابی فراخوانی LLM در محیط محلی – عملی First Traced LLM Call in a Local Environment – Hands-on

ابزارگذاری برنامه‌های LLM Instrumenting LLM Applications

• ایجاد Spanهای LLM با حاشیه‌نویسی‌ها و تگ‌ها – عملی Creating LLM Spans with Annotations and Tags – Hands-on

• ابزارگذاری گردش‌های کاری چندمرحله‌ای – عملی Instrumenting Multi-step Workflows – Hands-on

• خط‌لوله RAG با مشاهده‌پذیری کامل – عملی RAG Pipeline with Full Observability – Hands-on

• یکپارچه‌سازی با LangChain – بخش اول LangChain Integration – Part 1

• ابزارگذاری خودکار خط‌لوله RAG در LangChain – عملی LangChain RAG Pipeline Auto-Instrumentation – Hands-on

ردیابی گردش‌های کاری Agentic AI Tracing Agentic AI Workflows

• ردیابی گردش‌های کاری Agentic – عملی Tracing Agentic Workflows – Hands-on

• سیستم‌های چند-عاملی (Multi-Agent) – عملی Multi-Agent Systems – Hands-on

• عیب‌یابی مشکلات Agent – مرور کلی Debugging Agent Issues – Overview

ارزیابی‌ها و مانیتورینگ کیفیت Evaluations & Quality Monitoring

• مروری بر آزمایش‌های LLM و ایجاد مجموعه داده – عملی LLM Experiments Overview and Dataset Creation – Hands-on

• تولید مجموعه ارزیابی طلایی (Golden Set) – عملی Generating a Golden Evaluation Set – Hands-on

• اجرای آزمایش‌های LLM در Datadog – داشبوردها و مقایسه‌ها Running LLM Experiments in Datadog – Dashboards and Comparisons

• تست A/B برای پرامپت‌ها – گردش کاری کامل – عملی A/B Testing Prompts – Full Workflow – Hands-on

• راه‌اندازی ارزیابی‌ها و مانیتورینگ کیفیت – عملی Setting up Evaluations and Quality Monitoring – Hands-on

• ایجاد ارزیابی‌های سفارشی Creating Custom Evaluations

• ارزیابی‌ها و مانیتورینگ فقط در کد – عملی Evaluations and Monitoring in Code Only – Hands-on

مانیتورینگ و بهینه‌سازی هزینه‌ها Cost Monitoring & Optimization

• ردیابی خودکار هزینه‌ها در Datadog – بررسی داشبورد Datadog Automatic Cost Tracking – Dashboard Walkthrough

• استراتژی‌های بهینه‌سازی هزینه – مرور کلی Cost Optimization Strategies – Overview

امنیت، انطباق و الگوهای محیط عملیاتی Security, Compliance & Production Patterns

• امنیت، انطباق و محیط عملیاتی – مرور کلی Security, Compliance, and Production – Overview

• راه‌اندازی تابع حذف اطلاعات حساس (PII) و تست – عملی Setting up PII Redaction Function and Testing – Hands-on

• مرور کلی داشبورد اسکن داده‌ها Data Scanning Dashboard Overview

• تست گروه سفارشی حذف PII در Datadog – عملی Testing a Custom PII Redaction Group in Datadog – Hands-on

• امنیت، انطباق و محیط عملیاتی برنامه‌های LLM – عملی LLM Apps Security, Compliance, and Production – Hands-on

• معماری استقرار در محیط عملیاتی و چک‌لیست Production Deployment Architecture and Checklist

• جمع‌بندی و گام‌های بعدی Wrap-up and Next Steps